Can you just look?能不能直接看就可以了?
裝置能不能用"看"的方式理解使用者?比如透過分析表情和視線,判斷使用者的情緒狀態和關注點。介面就能智慧調整:當使用者疲憊時簡化顯示,當注視某處時自動高亮。這樣AI就能直接透過觀察來預測使用者意圖,像個貼心助手,無需額外操作。

在多模態 AI-UX 中的實際應用場景,強調裝置透過觀察使用者的臉部表情、視線方向或姿態變化,即可獲取有用的上下文資訊,從而自動切換互動模式或提供個性化推薦。這類基於視覺感知的輸入方式,不僅提升了自然互動的效率,也在無障礙輔助、情緒識別、注意力分析等領域展現出巨大潛力。
JAWS — Main AI-UX interaction
JAWS 系統使用綠色點標註使用者面部區域,並透過音訊提示引導視障使用者將目光對準攝像頭。(該設計透過視覺+聽覺的多模態反饋機制,幫助視障使用者建立面部定位,有效提升視訊通話或人臉識別的可達性與準確率。)
Hunger Station — Main AI-UX interaction
使用者在瀏覽美食頁面時,系統透過眼動追蹤技術捕捉其注視點,並在後臺對每張圖片打分,最終預測“使用者當前最想吃的食物”。(該過程融合了視覺偏好識別與潛意識反應建模,使推薦結果更貼合使用者當下真實興趣,體現出基於生理訊號的個性化推薦機制。)
Hunger Station — Behind the scenes
眼動資料被熱區圖形式呈現,每張影象根據使用者注視時長和順序賦予不同權重,形成“食物慾望評分”。(這類隱性輸入被用於驅動推薦演算法,是無語言互動中的核心洞察來源。)
New Computer’s concept — Bonus
該概念展示了裝置如何基於使用者是否注視螢幕來自動切換輸入模式:當使用者面對膝上型電腦時,系統預設為鍵盤輸入;當使用者視線離開或後仰時,則切換為語音輸入模式。(這種感知驅動型輸入切換,提升了互動順暢度,並適配使用者不同的身體狀態與操作需求。)